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摘 要 : 作物 具有 结构 多 样 、 生 长 环境 复杂 等 特征 。RGB 图 像 数 据 能 真实 地 反映 植株 的 纹理 特征 与 颜色 特征 ， 三 
维 点 云 数据 包含 了 作物 的 体 量 信息 。 将 RGB 图像 和 三 维 点 云 数 据 结合 ， 实 现 作物 的 二 维和 三 维 表 型 参数 提取 ， 对 
表 型 组 学 的 方法 研究 具有 重要 意义 。 本 研究 以 马铃薯 为 研究 对 象 ， 使 用 RGB 相机 和 激光 扫描 仪 分 别 采 集 了 50 个 马 
铃 昔 的 RGB 图 像 与 三 维 激 光 点 云 数 据 。 对 比 了 OCRNet，UpNet，PaNet 和 DeepLab v3+ 四 种 深度 学 习 语 义 分 割 方法 
的 分 割 精度 ， 并 选择 精度 较 高 的 OCRNet 网 络 实现 马铃薯 顶 视图 像 的 语义 分 制 。 优 化 了 Mean shift 聚 类 算法 流程 ， 
完成 了 马 铃 暮 植 株 激 光 点 云 的 单 株 分 割 ， 并 结合 欧式 聚 类 和 K-Means 聚 类 算法 对 单 株 马 铃 蔓 植株 点 云 的 茎 和 叶 进 
行 准确 地 分 割 。 同 时 ， 提 出 一 种 利用 编号 建立 马 铃 暮 单 株 RGB 图 像 和 激光 点 云 间 一 一 对 应 关系 的 策略 ， 并 以 此 为 
基础 分 别 从 RGB 图 像 与 激光 点 云 中 提取 同一 马 铃 莫 植 株 包括 最 大 宽度 、 周 长 、 面 积 、 株 高 、 体 积 、 叶 长 与 叶 宽 在 
内 的 8 个 二 维 表 型 参数 与 10 个 三 维 表 型 参数 。 最 后 ， 选 择 了 比较 具有 代表 性 、 易 测量 的 叶片 数 、 株 高 、 最 大 宽度 
三 个 表 型 参数 进行 精度 评估 ， 平 均 绝 对 百分比 误 关 (Mean Absolute Percentage Error, MAPE) 分 别 为 8.6% 、8.3% 
和 6.0%， 均 方 根 误差 (Root Mean Square Error, RMSE) 分 别 为 1.371 Fr. 3.2 cm 和 1.86 cm， 决 定 系 数 尼 分 别 为 
0.93, 0.95 和 0.91。 精 度 评估 的 结果 表明 ， 所 提取 的 表 型 参数 能 够 准确 、 高 效 地 反映 马铃薯 的 生长 状态 ， 将 马铃薯 
的 RGB 影像 数据 与 三 维 激光 点 云 数据 相 结 合 ， 能 够 充分 发 挥 RGB 图 像 纹理 颜色 特征 丰富 、 三 维 点 云 能 够 提供 体 量 
信息 的 优势 ， 实 现 马 铃 暮 植株 二 维 与 三 维 表 型 参数 高 精度 、 非 破坏 性 的 提取 。 本 研究 成 果 不 仅 可 以 为 马铃薯 的 种 
植 和 育种 提供 重要 的 技术 支持 ， 还 可 以 为 基于 表 型 数据 的 研究 提供 有 力 支 持 。 
关键 词 : LIDAR; 多 源 数据 ; 聚 类 分 割 ; 三 维 表 型 OCRNet; 激光 点 云 ; 深度 学 习 
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引言 量 ， 难 以 实现 作物 发 育 的 持续 性 监测 。 因 此 ， 探 索 
一 套 高 效 的 、 非 破坏 性 的 、 可 利用 不 同 数据 源 的 方 
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现代 农业 种 植 具有 重要 的 意义 "。 早 期 作物 表 型 的 。 究 热 点 ， 


获取 通过 人 工 完成 ， 如 用 卷 尺 测量 株 高 、 使 用 排水 
法 测量 体积 等 ,不仅 效 率 低 ， 而 且 涉 及 破坏 性 测 
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其 中 ， 基 于 RGB 图 像 与 激光 点 云 的 方法 得 到 
了 广泛 应 用 。 在 高 通 量 作物 表 型 参数 获取 中 ，RGB 
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图 像 能 够 反映 植株 的 形态 ， 而 且 包 含 了 丰富 的 颜色 
特征 、 纹 理 特征 等 ， 是 获取 表 型 参数 的 首选 数据 。 
Germain 等 ”通过 区 分 图 像 中 灰 度 值 的 差异 ， 从 二 
维 图 像 中 提取 到 麦 穗 ， 并 获得 了 不 错 的 结果 。 王 传 
宇 等 汪 使 用 局 域 纹 理 能 量 滤波 器 获得 玉米 叶片 的 
边缘 轮廓 ， 成 功 从 图 像 中 分 割 出 玉米 叶片 ; Lores- 
co 等 由 在 RGB CIELab, YCbCr AI HSV 四 个 不 同 
颜色 空间 ， 使 用 K- 邻 近 算法 分 割 生菜 图 像 ， 发 现 
CIELab 颜 色 空 间 具 有 最 好 的 分 割 性 能 ， 并 将 其 应 
用 于 智能 农场 作物 阶段 识别 。 

近年 来 ， 深 度 学 习 成 为 了 图 像 处 理 的 热门 方 
法 。 它 克服 了 传统 图 像 处 理 方法 需要 人 为 设计 并 手 
工 提取 特征 的 缺点 ， 并 且 训 练 出 的 模型 具有 更 高 的 
准确 性 与 普 适 性 。Grinblat 等 5 使 用 卷 积 神经 网 络 
(Convolutional Neural Networks, CNN) 对 白 豆 、 
大 豆 、 红 豆 三 种 豆 科 植物 的 叶片 进行 识别 与 分 类 ， 
整体 的 准确 率 达 到 96.9%. Leef O 同样 使 用 CNN 
成 功 训练 出 用 于 有 效 区 分 44 种 植物 叶片 的 模型 ， 
准确 率 最 高 可 达 99.5%。 近 年 来 ,解决 像素 级 分 割 
问题 和 解决 目标 检测 问题 的 各 种 优秀 的 网 络 模型 不 
断 涌现 ， 并 且 在 植物 表 型 领域 得 到 了 广泛 使 用 。 
Fan “& '7 将 YOLOv4 模 型 部 署 在 田间 表 型 机 器 人 
上 ， 使 用 其 测量 玉米 主 荃 的 直径 ; EEE OK 
用 迁移 学 习 与 MaskR-CNN 模型 实现 对 西瓜 植株 的 
检测 与 分 割 。 

点 云 数据 由 于 具有 几何 特征 丰富 、 受 外 界 环 境 
影响 较 小 等 优势 ， 近 年 来 也 受到 了 表 型 研究 人 员 的 
关注 。 点 云 的 采集 方式 分 为 两 种 : 一 种 是 基于 主动 
的 三 维 测量 方法 ， 如 激光 点 云 ， 具 有 高 密度 、 高 精 
度 的 特点 ， 点 云 中 点 的 信息 直接 来 源 于 传感器 ， 包 
CE NE UAB; 第 二 种 是 基于 被 动 的 三 维 测 
量 技术 ， 主 要 通过 序列 影像 重建 的 算法 生成 点 云 ， 
被 称 为 重建 点 云 ""。 激 光 点 云 相 比重 建 点 去 具有 
获取 效率 高 、 精 度 高 以 及 点 云 中 点 的 分 布 更 加 均匀 
等 优势 六。 点 云 的 处 理 算法 是 获取 作物 表 型 参数 
的 关键 。 常 规 点 云 数据 人 处理 主要 包括 滤波 、 配 准 、 
特征 提取 、 识 别 与 分 割 。 对 于 作物 表现 参数 的 提取 
而 言 ， 分 割 尤为 重要 。 已 有 不 少 研 究 人 员 针 对 某 一 
个 或 一 类 植物 使 用 激光 扫描 技术 提取 表 型 参数 。 
Wang “ |") (E JH Kinect v2.0 设 备 对 植物 点 云 进 行 提 


取 ， HERET ET Ey HEY) BRR a) a TE SE OL AY 
叶片 分 割 ， 实 现 对 叶片 性 状 的 测量 ; 阳 旭 等 2 使 
用 手持 激光 扫描 仪 获取 3 株 棉 花 共 12 个 时 间 点 的 点 
云 数据 ， 实 现 对 叶片 与 主 茎 的 分 割 ， 并 对 株 高 、 叶 
长 、 叶 宽 、 体 积 等 表 型 参数 的 动态 测量 。 这 些 方法 
需要 的 数据 量 小 ， 算 法 结构 简单 ， 应 用 广泛 。 

马铃薯 是 一 种 兼用 型 农作物 ， 水 分 利用 率 高 、 
产业 链 长 、 种 植 面 积 大 ， 对 缓解 食物 安全 压力 起 到 
重要 作用 ”“。 近 年 来 ， 马 铃 昔 的 表 型 参数 提取 逐 
渐 受 到 国内 研究 人 员 的 关注 。 针 对 RGB 图 像 ， 张 
兆 国 等 55 改进 了 YOLOv4 模 型 ， 实 现 了 对 复杂 环 
境 下 的 马铃薯 块茎 的 识别 与 计数 ， 赵 越 等 “使 用 
Fater R-CNN 网 络 对 马 铃 昔 叶片 实现 病害 检测 。 针 
对 激光 点 云 ， 谭 或 等 ”使 用 深度 相机 采集 马 铃 莫 
块茎 点 云 并 从 中 获取 了 马铃薯 芽眼 的 三 维 定位 。 

为 结合 RGB 图 像 和 激光 点 云 二 者 的 优点 ， 本 
研究 使 用 RGB 相机 与 激光 扫描 仪 采 集 马 铃 暮 的 
RGB 图 像 与 点 云 数 据 ， 获 取 单 株 作物 的 18 项 表 型 
参数 ， 精 度 评估 结果 表明 ， 将 RGB 图 像 和 激光 点 
云 相 结合 的 方法 ， 能 够 同时 获取 同一 马铃薯 植株 的 
纹理 和 形态 特征 ， 并 且 弥 补 了 单一 数据 形式 的 局 
限 性 。 


2 材料 与 方法 


2.1 技术 路 线 


本 研究 使 用 RGB 相机 与 激光 扫描 仪 分 别 采 集 
马 铃 昔 的 RGB 图 像 与 点 云 数 据 ， 通 过 编号 建立 马 
人 $ 暮 图 像 与 点 云 之 间 的 对 应 关系 ， 并 在 此 基础 上 提 
取 单 株 马 铃 暮 的 二 维 与 三 维 表 型 参数 ， 整 体 技术 流 
程 如 图 1 所 示 。 


2.2 RGB 图 像 与 点 云 数据 采集 


马铃薯 植株 于 2022 年 4 月 在 表 型 平台 温室 中 分 
盆 种 植 ， 共 800 贫 ,每 盆 种 植 1 株 ， 待 生长 情况 稳 
定 后 开始 数据 的 采集 工作 。 本 研究 共 对 50 株 马 铃 
WHIT RGB 图 像 与 点 云 数据 的 采集 ， 用 于 之 后 的 
表 型 参数 提取 。 男 外 ， 本 研究 还 分 别 在 5 月 15 AY 
5 月 18 日 、5 月 21 日 、5 月 24 日 和 5 月 27 日 从 另外 
750 株 马 铃 莫 中 采集 了 4000 幅 RGB 图 像 数 据 ， 用 于 
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©O 图 2 马 铃 划 激 光 点 云 数 据 采 集 试验 设备 与 现场 布置 
© Fig. 2 Equipment and site layout of LiDAR points cloud data 
is PHM ER acquisition of potato 
w i | : 为 植株 积累 大 量 的 有 机 物 。 因 此 ， 马 铃 区 的 冠 层 最 
O p em menu L R 能 直接 反映 植物 的 各 方面 状态 。 使 用 RGB 相机 从 
SPSS BS SATE AL | Meee tT SEEM Gr LAIPE : mer 
N > aS tan © 正 上 方 获取 马铃薯 植株 的 顶 视图 像 ， 能 最 大 程度 地 
2 图 1 关于 RGB 图 像 与 激光 扫描 仪 提取 马 维 著 表 型 关 数 的 技 。 ”获取 马 铃 暮 植株 冠 层 特征 。 
x< ABA 本 研究 使 用 一 套 位 于 华中 农业 大 学 作物 表 型 
= Fig. 1 Technical route of extracting potato plant phenotypic pa- 平台 中 的 自动 传输 装置 " 在 密闭 暗室 的 环境 中 
T rameters based on RGB image and point clouds 对 马铃薯 植株 进行 周期 性 的 图 像 采 集 工 作 ， 如 图 
O 2 (a) 所 示 。 和 采集 项 视图 像 的 RGB HLA TF 


深度 学 习 语 义 分 割 网 络 的 训练 。 

本 研究 使 用 的 RGB 相机 为 德国 巴 斯 勒 公司 生 
产 的 Basler aca5472， 有 效 像素 为 2000 w/in。 使 用 
的 激光 扫描 仪 为 美国 FARO 公 司 研发 的 Focus S70, 
其 分 辩 率 最 大 为 976,000 点 /s。 激 光 扫 描 仪 在 扫描 
过 程 中 使 用 的 辅助 扫描 工具 为 激光 扫描 标记 球 与 
文 架 。RGB 相机 与 激光 扫描 仪 的 数据 输入 、 存 储 
与 处 理 使 用 一 台 运 行内 存 32 GB， 处 理 需 主 频 为 
2.8 GHz 的 Windows 64 位 操作 系统 惠普 笔记 本 电 
脑 ， 图 2 分 别 为 本 研究 中 数据 采集 设备 与 使 用 的 马 
铃 曹植 株 。 
2.2.1 RGB 图像 的 采集 

马 铃 曹 的 生长 发 育 与 其 冠 层 密切 相关 。 冠 层 是 
马 铃 莫 植株 进行 光合 作用 和 呼吸 作用 的 主要 部 分 ， 


闭 暗 室 的 项 部， 如 图 2 (b) 所 示 。 自 动 传输 装置 由 
三 条 深 简 输送 线 组 成 ， 分 别 负责 将 植株 送 入 暗室 、 
调整 植株 位 置 以 便 获 取 顶 视图 像 、 将 植株 送出 暗室 
的 工作 。RGB 相机 距离 输送 线 的 高 度 为 1.5m， 该 
高 度 可 以 保证 图 像 的 尺寸 正好 履 盖 整个 暗室 ， 避 人 免 
了 图 像 中 出 现 数据 缺失 的 问题 。 
2.2.2 ”激光 点 云 数 据 采 集 

马铃薯 的 激光 点 云 数 据 采 集 以 10 株 马铃薯 为 一 
组 ， 共 设置 9 个 站 点 ,马铃薯 依 次 从 低 到 高 排列 ， 
如 图 2 (c) 所 示 。 为 了 减少 主 茎 点 云 与 靠近 根部 的 
叶片 点 云 缺 损 ，5 个 站 点 (如 图 2 (d) 中 蓝 色 方 块 
所 示 ) 中 的 激光 发 射 锅 与 被 扫描 马铃薯 平 行 ， 另 外 
4 个 站 点 (如 图 2 (d) 中 绿色 方块 所 示 ) 则 稍 高 于 
被 扫描 马铃薯 。 
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激光 扫描 结果 受 设备 参数 设置 的 影响 较 大 ， 需 
要 通过 实验 确定 最 优 参 数 设 置 方案 ， 包 括 分 辩 率 与 
质量 。 分 辨 率 是 激光 雷达 扫描 得 到 点 云 的 密度 ， 质 
量 是 激光 雷达 发 射 激光 束 的 数量 。 实 验 使 用 6 盆 马 
铃 葛 作 为 对 象 ， 设置 6 个 对 照 组 ， 每 个 对 照 组 设置 
不 同 的 分 辨 率 与 质量 ,在 同一 天 先后 完成 扫描 。 本 
研究 将 根据 实验 结果 设置 激光 扫描 仪 的 参数 ， 并 对 
马 铃 莫 植株 进行 激光 点 云 数 据 的 采集 。 


2.3 图 像 的 语义 分 割 


OCRNet 网 络 "” 是 一 种 基于 全 卷 积 神经 网 络 的 
语义 分 割 网 络 ， 结 构 如 图 3 所 示 。OCRNet 网 络 利 
用 物体 上 下 文 特征 表达 方法 ,将 宛 杂 的 像素 分 类 问 
题 转化 为 更 高 层次 的 分 类 问题 ， 提 高 了 像素 分 类 的 
准确 性 。OCRNet 网 络 主要 包括 三 个 步骤 : 第 一 步 ， 
使 用 主干 网 络 进行 语义 分 割 ， 并 从 中 获取 像素 特征 
和 类 别 特征 ; 第 二 步 ， 将 类 别 特征 和 像素 特征 展开 
成 二 维 向 量 ， 并 进行 融合 ; 第 三 步 ， 通 过 自 注 意 力 
机 制 计算 相关 性 向 量 ， 然 后 将 相关 性 向 量 与 像素 特 
征 进 行 拼接 ， 从 而 获得 基于 物体 类 别 的 上 下 文 信 
Eo OCRNet 网 络 能 够 将 上 下 文 信息 集中 于 物体 本 
身 ， 降 低 干扰 ， 提 高 像素 的 分 类 准确 性 。 采 用 
OCRNet 网 络 能 够 有 效 地 提高 边缘 的 识别 和 分 割 效 
R, 尤其 适用 于 结构 复杂 、 语 义 信息 丰富 的 马铃薯 
RGB 图 像 。 


图 3 研究 中 使 用 的 OCRNet 的 网 络 结构 


Fig. 3 The OCRNet network architecture used in the study 


2.4 点 云 的 分 割 


2.4.1 ”点 云 的 单 株 分 割 

激光 扫描 仪 采 集 到 马铃薯 点 云 数据 后 ， 需 要 将 
所 有 点 云 数据 分 为 独立 的 单 株 马 铃 蔚 点 云 。 均 值 漂 
移 (Mean Shift) 算法 ”对 数据 的 密度 较为 敏感 ， 
因此 本 研究 采用 均值 漂移 算法 来 实现 单 株 马 铃 暮 点 
云 的 分 割 。 均 值 漂 移 算法 的 基本 流程 如 图 4 所 示 : 


先 从 点 集中 的 任意 一 个 点 p 出发， 遍历 以 点 p 为 球 
心 、7 为 半径 的 球体 内 所 有 的 点 ， 并 求 出 这 些 点 到 
点 Pp 的 向 量 的 平均 值 ， 得 到 均值 漂移 向 量 ， 之 后 将 
均值 漂移 向 量 的 终点 作为 新 的 点 p， 如 有 果 p 不 再 移 
动 ， 则 选择 下 一 个 点 进行 均值 漂移 ， 直 到 所 有 的 点 
都 完成 移动 。 


注 ; 图 中 红色 辆 图 为 点 p, 黄 色 国 圈 是 以 点 p 为 国 心 ,半径 为 /的 搜索 
邻 域 , 黑 色 箭 头 为 漂移 向 量 
图 4 均值 漂移 算法 的 步骤 
Fig. 4 The steps ofthe mean shift algorithm 

激光 扫描 仪 在 扫描 过 程 中 会 出 现 遮 挡 ， 使 得 部 
分 植株 的 中 间 区 域 点 云 相 对 稀 玻 。 知 直接 利用 均值 
漂移 算法 对 点 云 进 行 聚 类 ， 同 一 植株 的 点 云 容易 被 
误 分 为 上 下 两 层 。 为 了 解决 此 问题 ， 本 研究 优化 了 
均值 漂移 算法 聚 类 的 流程 ， 首 先 将 竺 分 制 点 云 投影 
至 与 水 平地 面 平 行 的 Yo7 平 面 ， 构 成 一 个 二 维 离散 
点 集 ， 再 使 用 均值 漂移 算法 对 该 点 集 进行 聚 类 ， 竺 
聚 类 完成 后 ， 将 二 维 离散 点 集 还 原 为 三 维 点 云 ， 即 
可 避免 出 现 点 云 被 误 分 为 上 下 两 层 的 问题 。 同 时 ， 
优化 后 的 均值 漂移 算法 聚 类 中 ， 点 漂移 208,557 次 、 
用 时 24,2684 ms， 相 比 优 化 前 减少 45,432 次 、 广 
省 了 195,180 ms， 大 大 提高 了 马 铃 暮 的 点 云 单 株 分 
2.4.2 ”作物 点 云 的 器 官 分 割 

马铃薯 叶片 的 表 型 参数 为 评估 植物 性 状 提供 了 
重要 的 参考 依据 。 对 马铃薯 点 云 的 叶片 与 主 葵 进行 
分 割 ， 可 以 精确 地 从 叶片 中 提取 表 型 参数 ， 而 且 不 
对 植株 本 吴 造 成 破坏 。 马 铃 划 植株 中 ， 生 长 点 下 部 
的 叶片 分 布 均匀 、 主 茎 与 叶片 间距 较 大 、 各 个 叶片 
与 主 葵 在 密度 上 差异 较 小 ; 生长 点 附近 的 叶片 较为 
密集 、 点 云 中 叶片 与 主 葵 间距 较 小 、 噪 声 与 重 影 较 
为 明显 。 基 于 马 铃 车 植株 的 上 述 特点 ， 本 研究 将 分 
两 步 对 马铃薯 点 云 进行 需 官 分 割 ， 如 图 5 所 示 。 第 
一 步 ， 使 用 对 距离 敏感 的 欧式 聚 类 算法 (Euclidean 
Cluster Extraction Algorithm) 2 ， 提 取 马 铃 划 植株 
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点 云 中 生长 点 下 部 的 叶片 ， 并 将 未 分 割 的 生长 点 附 
近 叶 片 与 主 葵 送 至 下 一 步 ; 第 二 步 ， 基 于 第 一 步 分 
割 的 结果 ， 使 用 能 够 深入 各 控 气 点 之 间 相 似 特点 的 
K-Means 聚 类 算法 ”， 对 上 一 步 未 完成 分 割 的 生长 


点 附近 叶片 与 主 茎 进行 分 割 。 经 过 两 个 步骤 ， 所 有 
叶片 (包括 生长 点 下 部 叶片 与 生长 点 附近 叶片 ) 都 
成 功 与 主 茎 分 离 ， 流 程 结 
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图 5 马铃薯 植 株 点 云 器 官 分 割 的 流程 


Fig. 5 The point cloud organ segmentation process of potato plant 


2.5 单 株 马 铃 薯 RGB 图 像 与 激光 点 云 数据 的 
对 应 


激光 扫描 仪 和 RGB 相机 的 采集 时 间 不 一 。 而 
AL, 为 了 确保 每 幅 RGB 图 像 中 马铃薯 的 比例 相同 ， 
需要 固定 RGB 相机 和 马 铃 暮 植株 的 相对 位 置 。 而 
激光 扫描 仪 在 采集 马铃薯 点 云 的 过 程 中 需要 多 次 调 
整 位 置 和 高 度 。 因 此 ， 采 用 同步 采集 方式 会 限制 其 
灵活 性 并 影响 马铃薯 植株 点 云 的 质量 。 因 此 ， 本 研 
究 采 用 异步 方式 采集 马 铃 暮 植 株 的 RGB 图 像 和 激 
光 点 云 ， 以 提高 数据 采集 效率 并 增强 灵活 性 。 

为 了 建立 异步 采集 获得 的 马铃薯 RGB 图 像 和 
激光 点 云 数据 之 间 的 一 一 对 应 关系 ， 从 而 提取 同一 
株 马 铃 莫 的 表 型 参数 ， 本 人 研究 提出 了 一 种 新 的 策 
略 ， 利 用 每 盆 植 株 的 编号 完成 对 应 关系 的 建立 。 对 
于 RGB 图 像 ， 本 研究 使 用 了 自动 传输 装置 ， 按 照 
编号 从 小 到 大 采集 图 像 ， 输 出 的 RGB 图 像 可 以 自 
然 实现 图 像 与 马铃薯 植株 编号 的 一 一 对 应 。 对 于 激 
光 点 云 数据 ， 需 要 从 单 株 马 铃 草 的 激光 点 云 数据 中 
提取 编号 ， 完 成 点 云 数据 与 马铃薯 植株 编号 的 一 一 
对 应 。 针 对 单 株 马 铃 昔 点 云 ， 提 取 编 号 的 步骤 
如 下 : 

(1) 使 用 颜色 阔 值 对 点 云 数据 进行 粗 过 滤 ， 
如 图 6 (b) 所 示 。 点 云 的 颜色 特征 通过 求 取 红 、 
蓝 、 绿 三 个 颜色 分 量 的 平均 值 获得 。 标 签 的 颜色 特 
征 在 (140,180) 的 范围 内 ; 

(2) 使 用 聚 类 算法 定位 编号 标签 在 点 云 数据 中 
的 位 置 ， 如 图 6 (c) 所 示 ; 

(3) 求 取 编号 标签 点 云 中 点 的 平均 法 向 量 ， 如 


S 


Al6 (d) 所 示 ; 

(4) 将 编号 标签 点 云 沿 平均 法 向 量 方向 投影 至 
与 平均 法 向 量 垂直 的 平面 ， 如 图 6 (e) 所 示 ; 

(5) 对 编号 标签 的 二 维 投影 图 像 进行 图 像 处 
理 ， 获 取 数 字 编 号 ， 如 图 6 (f) 与 6 (g) 所 示 。 

在 二 值 化 的 过 程 中 ,传统 的 二 值 化 方法 基于 
[ii] EY (EL KI OP RR, TCH Wb EREA TR 
如 图 7 (b) 所 示 。 因 此 ， 本 研究 采用 了 能 够 对 图 像 
进行 局 部 二 值 化 的 Sauvola 算 法 ”处 理 编号 标签 投 
影 图 像 。Sauvola 算 法 根据 像素 点 邻 域内 的 灰 度 值 
MERE SUAS TT EL, AL CANN ll TG AE TT A 
字 提 取 的 影响 ， 如 图 7 (c) 所 示 。Sauvola 算 法 计 
BoA Ast (1) ~ (3) 所 示 。 


1 zhi j+ 
m(xy)= >, ,gary(i) (1) 
2 j 2 


seo) ESTES eleste)” 
(2) 
T(x,y)=m(x,y) X[1 + 0.1 x (Say) - 1)] 
(3) 
其 中 ，7r 表 示 以 当前 像素 点 x, y) 为 中 心 的 
邻 域 范 围 ; R 是 动态 范围 ， 由 标准 差 计 算 而 来 ， 当 
图 像 灰 度 为 8 位 时 ，R 的 值 始 终 为 128。 在 像素 点 
(x, y) 的 rXr 邻 域内 ， 灰 度 值 的 平均 值 表示 为 m 
(x，y)， 标 准 方差 表示 为 +(x，y)， 像素 点 (x, y) 
的 动态 阔 值 表示 为 (x, y)o 
在 二 维 投影 网 像 的 获取 过 程 中 ， 数 字 的 轮廓 会 
发 生变 形 。 因 此 ， 本 研究 选用 了 经 典 的 MNIST 手 
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图 6 利用 编号 建立 马 铃 莫 单 株 RGB 图 像 和 激光 点 云 间 一 一 对 应 关系 方法 中 从 点 云 中 提取 数字 的 过 程 


Fig. 6 The process of extracting numbers from point clouds in the method of establishing one-to-one correspondence between potato 


single-plant RGB images and laser point clouds using identifiers 


“(bie = tee 结果 


(d) 识 别 结果 图 


(c) 局 部 二 值 化 的 结果 
图 7 编号 标签 投影 图 像 二 值 化 的 结果 对 比 


Fig. 7 Comparison of the results of binary projection of num- 


bered labels in images 


Bm MH, EA T R E E R H ZS OH 
AlexNet 25 对 数字 进行 自动 识别 。AlexNet 网 络 包 
括 5 个 卷 积 层 、3 个 池 化 层 和 3 个 全 连接 层 ,， 使 用 
ReLU 作为 激活 图 数 。 此 外 ，AlexNet 还 应 用 了 
Dropout 正则 化 和 局 部 响应 归 一 化 技术 ， 以 减少 过 
拟 合 的 风险 并 增强 网 络 的 泛 化 能 力 和 和 鲁 棒 性 。 


2.6 马 铃 划 植株 表 型 参数 的 提取 


马铃薯 的 主 共 和 和 冠 层 是 作物 在 生长 过 程 中 的 最 
活路 的 部 位 ， 叶 片 是 作物 进行 光合 作用 和 呼吸 作用 
的 主要 载体 。 冠 层 、 主 葵 、 叶 片 的 特征 变化 都 为 评 
佑 植物 性 状 提 供 了 重要 的 参考 依据 ， 获 取 这 些 信息 
对 后 续 的 分 析 与 育种 具有 重要 意义 。 本 研究 从 同一 


植株 的 RGB 图 像 与 激光 点 云 中 ， 共 提取 出 与 冠 层 、 
EA. MTA SAKW 18 个 表 型 参数 。 各 参数 的 名 
词 、 缩 写 与 特征 类 型 如 下 : 

二 维 形 态 特征 : 最 大 宽度 (Cw), AK 
(CP). HAR (CA), HARK (CHC), HEHE 
(CHA); 

二 维 纹理 特征 : 均值 (MI) 、 平 滑 度 (SE)、 
标准 差 (S); 

三 维 形态 特征 : 株 高 (PH) 、 横 向 宽度 
(PW)、 纵 向 宽度 (PD)、 凸 包 体积 (PV)、 柱 体 体 
积 (CV)、 叶 片 数 (LN)、 叶 片 长 度 (L), A 
宽度 (LW)、 叶 片面 积 (LA) 、 投 影 面积 (PA). 
图 8 为 马铃薯 植株 表 型 参数 的 提取 。 

2.6.1 二 维 形态 特征 

轮廓 ， 如 图 8 (a) 绿色 线 所 示 。 统 计 边缘 线 像 
素 点 个 数 即 可 得 到 周 长 ， 统 计 轮廓 中 红色 区 域 像 素 
点 个 数 即 可 得 到 面积 。 

外 接 凸 包 : 如 图 8 (a) 浅 蓝 色 线 所 示 。 可 以 提 
取 凸 包 周 长 与 凸 包 面积 。 

外 接 圆 形 : 如 图 8 (a) } 
形 的 半径 可 以 作为 最 大 宽度 。 
2.6.2 ”二 维 纹理 特征 

马铃薯 图 像 的 纹理 特征 是 反映 图 像 特性 的 重要 
特征 。 图 像 纹理 特征 可 以 反映 图 像 的 粗糙 度 、 方 向 
性 、 有 序 程度 。 图 像 的 粗糙 度 为 图 像 中 最 小 的 结构 


深蓝 色 线 所 示 。 外 接 圆 
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(a)RGB 图 像 的 轮 廊 、 外 接 西 包 
与 外 接 圆 形 


(b) 点 云 的 最 小 包围 


By 


= pr 
< 
| b= 
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(c) 点 云 的 外 接 柱 体 


(d) 点 云 的 西 包 


(e) 点 云 向 Yo7 平 面 的 正 投影 


(Det PK SE 


图 8 马铃薯 植株 表 型 参数 的 提取 


Fig. 8 Extraction ofpotato phenotypic parameters 


单元 的 大 小 ,一 般 情况 下 ， 图 像 中 最 小 的 结构 单元 
越 小 ， 图 像 越 细 腻 。 方 向 性 为 像素 的 灰 度 与 相 邻 区 
域 的 梯度 的 一 致 性 。 有 序 程度 表示 最 小 单元 结构 排 
布 规律 的 有 序 性 “”。 本 研究 主要 提取 了 能 够 反映 
图 像 粗 糙 度 、 方 向 性 、 有 序 性 的 三 个 重要 纹理 特 
征 ， 分 别 为 均值 、 标 准 差 和 平滑 度 。 这 个 三 个 纹理 
寺 征 使 用 灰 度 直方 图 计算 ,具体 分 别 如 公式 (4) 一 
(6) 所 示 。 


M= DiziP(z,) (4) 

o(z)= X; (z -MYP (z) (5) 
1 

R(z)=1- rot) (6) 


其 中 ， 灰 度 级 范围 从 0 到 ZL-1; z 代 表 图 像 中 点 
的 灰 度 值 ，P (z) 代表 灰 度 直方 图 中 灰 度 z 的 出 现 
频率 ; M 代 表 灰 度 的 均值 ; 0 (2) 代表 灰 度 的 标准 
22; R (z) 代表 图 像 的 平滑 度 。 


2.6.3 三 维 形态 特征 

激光 点 云 可 以 准确 地 反映 马铃薯 在 三 维 空间 中 
完整 的 形态 特征 。 从 本 研究 得 到 的 点 云 与 器 官 分 割 
结果 中 可 以 提取 到 10 个 表 型 参数 。 其 中 6 个 表 型 参 
数 从 单 株 点 云 中 直接 获得 ，4 个 表 型 参数 从 需 官 分 
割 后 的 结果 中 获得 。 

最 小 包围 盒 与 外 接 柱 体 : 如 图 8 (b) 与 
图 8 (c) 所 示 ， 激 光 扫 摘 仪 采集 的 点 云 ，Z 轴 始终 
与 地 面 垂 直 ， 因 此 最 小 包 于 盒 与 外 接 柱 体 的 高 度 可 
以 作为 株 高 ， 最 小 外 接 包 围 盒 的 宽度 或 外 接 柱 体 的 
长 轴 可 以 作为 横向 宽度 ， 最 小 外 接 包 于 盒 的 深度 或 
外 接 柱 体 的 短 轴 可 以 作为 纵向 宽度 。 外 接 柱 体 的 体 
积 可 以 表示 三 维 空间 中 作物 植株 占据 的 空间 大 小 。 

HE: 如 图 8 (d) Bras, thf = AEs lal PAE 
BERHAK, PF Pee as 
三 维 空间 中 作物 植物 本 身 的 体积 ， 如 图 8 (d) 
所 示 。 

投影 : 如 图 8 (c) 所 示 ， 特 指 植株 点 云 向 X7 
平面 的 正 投影 与 处 理 后 获得 的 图 像 。 通 过 统计 白色 
区 域 的 像素 个 数 计算 投影 面积 ， 如 图 8 (e) 所 示 。 

从 融 官 分 割 后 的 结果 中 获取 的 表 型 参数 为 马 铃 
萝 叶 片 的 叶 长 与 叶 宽 。 马 铃 莫 的 叶片 在 生长 到 一 定 
程度 后 会 出 现 明显 弯曲 。 因 此 ， 直 接 使 用 叶片 两 端 
的 欧式 距离 值 来 测量 叶 长 和 叶 宽 会 造成 较 大 的 误 
差 。 在 本 研究 中 ， 叶 长 与 叶 宽 使 用 到 近 方法 测量 。 
如 图 8 (f 所 示 ， 人 工 选取 点 云 上 的 端点 4 和 B， 
AB 两 个 端点 之 间 的 距离 为 L。 人 工 选取 4B 的 中 间 
点 C， 并 分 别 计算 点 4、C 和 点 3B、C 之 间 的 距离 D, 
MD, 设 1 为 D, 与 D, 之 和 。 在 L 和 /之 间 的 长 度 偏 
差 上 设置 阔 值 <， 并 比较 二 和 17， 如 公式 (7) 所 示 : 

Led, J(L-1) <2 
[= f - (7) 
D, J(L-1) zd 

如 果 工 和 7 之 间 的 长 度 偏差 上 大 于 或 等 于 阔 值 
d， 则 用 区 段 D, 更 新 !， 并 用 8 替换 区 段 DD, 中 的 端点 
标签 C， 直 到 工 和 /7 之 间 的 长 度 偏差 上 小 于 阔 值 d。 
2.6.4 精度 评估 指标 

为 了 验证 本 研究 提出 方法 的 有 效 性 ， 本 研究 在 
数据 采集 阶段 收集 了 植物 叶片 数 的 人 工 计 数 数 据 与 
株 高 、 最 大 宽度 的 人 工 测量 数据 。 通 过 计算 从 RGB 
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图 像 与 点 云 中 提取 的 表 型 参数 与 点 云 中 提取 的 表 型 
参数 同人 工 计 数 、 测 量 结果 之 间 的 相对 误差 ， 评 佑 
从 作物 RGB 图 像 与 点 云 数据 中 提取 表 型 的 准确 性 。 

精度 评估 分 别 通过 平均 绝对 百分比 误差 
(Mean Absolute Percentage Error，MAPE ) 、 均 方 根 
误差 (Root Mean Square Error, RMSE) 和 决定 系 
# (Coefficient of Determination, R) 来 实现 。 


3 试验 结果 与 分 析 


3.1 激光 扫描 仪 参 数 设 置 


为 了 选择 合适 的 激光 扫描 参数 ， 本 研究 设计 了 
一 组 对 照 实验 ,使 用 6 分 马 铃 莫 作 为 对 象 ， 设置 6 
个 对 照 组 ， 每 个 对 照 组 设置 不 同 的 分 辨 率 与 质量 ， 
在 同一 天 先后 完成 扫描 。 实 验 中 每 组 的 参数 与 扫描 
结果 如 图 9 所 示 。 第 一 组 虽然 效果 较 好 ， 但 存在 点 
云 数据 匈 余 、 配 准 精度 不 高 、 耗 时 过 长 等 问题 ， 第 
四 组 、 第 五 组 和 第 六 组 的 结果 可 以 看 出 ， 点 云 数 据 
分 辨 率 低 于 1/4X976,000 点 /s， 无 法 获得 较 好 的 结 
果 ; 通过 第 二 组 与 第 三 组 的 对 比 可 以 看 出 ， 第 三 组 


os RE by < 


(a) 第 一 组 ,分 辩 率 为 12X  ”(b) 第 二 组 ,分 辨 率 为 1/4X 
976,000 点 /S ,质量 为 2X, 单 ”976;000 点 /$, 质 量 为 2X, 单 
站 时 间 8m:09s 


站 时 间 2m:47s 


(c) 第 三 组 ,分 辨 率 为 114X (AH IA, PHA 15X 
976,000 点 /S, 质 量 为 4X, 单 ”976,000 点 /s, 质 量 为 4X, 单 
站 时 间 8m:09s 站 时 间 5m:35s 


(e) 第 五 组 ,分 辩 率 为 8X  ”( 人 第 六 组 ,分 状 率 为 1/8X 


976,000 点 /s, 质 量 为 4X, 单 ”976,000 点 /s, 质 量 为 6X, 单 


站 时 间 2m:47s 站 时 间 8m:09s 


图 9 FARO Focus S70 激光 扫描 仪 分 辨 率 与 质量 选择 实验 结果 


的 点 云 密度 更 高 ， 所 携带 的 形态 特征 也 就 更 多 、 更 
准确 。 综 合 点 云 数据 的 视觉 效果 、 配 准 的 精度 与 时 
间 效 率 三 个 角度 考虑 ， 激 光 雷 达 在 分 状 率 为 1/4X 
976,000 点 /s、 质 量 为 4X 的 情况 下 能 够 获得 良好 的 
效果 ， 且 能 够 保证 较 高 的 效率 。 


3.2 RGB 图 像 语义 分 割 


本 研究 首先 使 用 Python 脚本 将 1600 张 马 铃 暮 
植株 项 视 RGB 图 像 切 分 为 800 X800 像 素 大 小 ， 并 
使 用 Labelme TAHE TINIE. FE, 1200 5K 24 
植株 顶 视 RGB 图 像 按 照 7: 3 的 比例 划分 为 训练 集 
和 验证 集 ， 剩 下 的 400 张 用 作 测试 集 。 

使 用 OCRNet、DeepLab v3+ 2 、UPerNet 2 
All PANet ™ 四 种 不 同 的 深度 学 习 语 义 分 割 网 络 对 
马铃薯 植株 顶 视 RGB 图 像 进行 分 制 ， 并 比较 它们 
的 三 个 精度 评估 指标 : 目标 像素 精度 (Pixel Accu- 
racy，PA) 、 平 均 像 素 精度 (Mean Average Preci- 
sion, MPA) 和 平均 交 并 比 (Mean Intersection over 
Union, MIoU), ， 对 比 结果 如 表 1 所 示 。 结 果 表 明 ， 
这 四 个 模型 的 MPA 和 MIoU 评分 都 十 分 接近 ， 而 


Fig. 9 Results of resolution and quality selection experiment of 


FARO Focus S70 laser scanner 


OCRNet 在 平均 像素 精度 和 目标 像素 精度 两 个 方面 

表现 最 优 ， 仅 在 平均 交 并 比方 面 略 逊 于 DeepLab 

V3+ 网 络 。 

表 1 四 种 深度 学 习 语义 分 割 网 络 分 割 马 铃 草 植株 的 性 能 
比较 


Table 1 Performance comparison of four deep learning seman- 


tic segmentation networks for segmenting potato plants 


网 络 名 称 PA/% MPA/% MIoU/% 
UPerNet 97.56 98.65 97.38 
OCRNet 98.22 98.95 97.48 
PANet 98.01 98.83 97.18 
DeepLab v3+ 98.06 98.54 97.67 


OCRNet 网 络 通过 将 上 下 文 信息 聚焦 于 物体 本 
身 ， 降 低 上 下 文 信息 对 像素 类 别 的 干扰 ， 从 而 为 像 
素 分 类 提供 有 益 信 息 。OCRNet 网 络 的 优点 在 于 它 
可 以 使 上 下 文 信息 更 专注 于 物体 ， 并 将 物体 的 信息 
传递 到 每 个 像素 上 ， 从 而 降低 了 噪声 和 干扰 ， 提 高 
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了 像素 的 分 类 准确 性 。 在 处 理 复杂 的 马铃薯 植株 形 
态 和 丰富 的 像素 上 下 文 信息 方面 ， 采 用 OCRNet 网 
络 能 够 获得 较 好 的 分 割 结果 。 

综 上 所 述 ， 本 研究 主要 采用 OCRNet 网 络 进行 
马铃薯 植株 的 语义 分 割 ， 并 将 该 结构 用 于 后 续 的 表 
型 参数 提取 和 精度 分 析 。 部 分 RGB 图像 分 割 结 
如 图 10 所 示 。 


(a) 原 始 RGB 图 像 (b) 分 割 结果 (c) 掩 模 图 像 
图 10 马铃薯 RGB 图 像 语 义 分 割 结果 


Fig. 10 Semantic segmentation results of potato plant RGB image 


(e) 搜 索 半 径 为 0.08 时 分 割 结 果 


3.3 植株 点 云 的 分 割 


3.3.1 植株 点 云 的 单 株 分 割 

本 研究 使 用 优化 流程 后 的 均值 漂移 算法 完成 作 
物 点 云 的 单 株 分 割 任 务 。 对 比 图 11 (a) 与 11 (b) 
可 以 看 出 ， 优 化 流程 后 的 均值 漂移 算法 能 够 有 效 避 
免 误 分 割 问题 。 均 值 漂 移 算法 需要 设置 停止 迭代 的 
贱 值 和 搜索 半径 。 停 止 迭 代 的 冰 值 用 于 判断 漂移 是 
否 已 经 收敛 ,一 般 设 置 为 0.00001。 搜 索 半 径 决 定 
了 每 个 样本 点 的 邻 域 范围 ， 过 大 的 搜索 半径 会 将 不 
同 的 复 误 认为 是 同一 个 复 ， 导 致 聚 类 结果 模糊 ， 如 
图 11 (c) 所 示 。 过 小 的 搜索 半径 会 使 得 局 部 密度 
估计 的 范围 太 小 ， 同 一 个 簇 中 的 数据 点 被 划分 到 不 
同 的 簇 中 ， 导 致 聚 类 结果 错误 ， 如 图 11 (d) 所 示 。 
经 过 一 系列 搜索 半径 参数 验证 实验 ,搜索 半径 为 
0.08 时 ， 可 以 取得 较 好 的 分 割 结果 ， 如 图 11 Ce) 
与 11 (f) 所 示 。 


图 11 马铃薯 植株 点 云 单 株 分 割 的 结果 


Fig. 11 Results of single-plant segmentation of potato plant point cloud 


3.3.2 ”植株 点 云 的 器 官 分 割 

为 了 能 够 准确 地 分 割 叶片 与 主 茎 ,作物 点 云 的 
器 官 分 割 分 两 步 进行 。 第 一 步 中 ， 欧 式 案 类 算法 需 
要 设置 近邻 搜索 半径 、 最 小 聚 类 点 数 和 最 大 聚 类 点 
数 三 个 参数 。 最 小 聚 类 点 数 和 最 大 聚 类 点 数 用 于 排 
除 噪 声 ， 根 据 叶 子 的 点 云 分 布 情况 ， 一 般 最 大 聚 类 
点 设置 大 于 点 云 数量 的 一 半 、 最 小 聚 类 点 设置 不 超 


过 点 云 数量 的 10%; 近邻 搜索 半径 和 点 云 的 平均 密 
度 、 均 匀 程 度 有 关 ， 如 果 近 邻 搜索 半径 小 于 最 优 
会 出 现 大 量 误 分 割 结果 ， 如 图 12 (o) 所 示 ; 如 
果 近 邻 搜索 半径 大 于 最 优 值 ， 则 点 云 无 法 分 制 ， 如 
图 12 (c) 所 示 。 经 过 一 系列 试验 的 验证 ， 在 最 小 
聚 类 点 数 为 1000、 最 大 聚 类 点 数 为 200,000、 近 邻 
搜索 半径 为 S mm 时 ， 可 以 取得 较 好 的 分 割 结果 ， 
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如 图 12 (a) 所 示 ， 马 铃 莫 植株 的 生长 点 下 部 叶片 。 ”的 数量 加 1， 如 图 12 Cd) 所 示 ; 当 叶 片 数 量 较 多 、 
的 分 割 基本 完成 ， 仅 生长 点 附近 的 叶片 仍 与 主 荆 相 。 叶片 与 主 茎 的 密度 特征 不 明显 时 ,需要 使 用 多 次 
连 。 生 长 点 附近 的 叶片 与 主 葵 的 分 割 通过 第 二 步 ”KK-Means 聚 类 算法 对 茎 叶 相 连 的 部 分 进行 分 割 ， 
完成 。 一 次 分 割 ，K 值 设置 为 生长 点 附近 剩余 叶片 的 数量 

第 二 步 中 使 用 K-Means 聚 类 算法 对 生长 点 附 ”加 1。 本 研究 中 ， 分 割 生长 点 附近 叶片 与 主 葵 最 多 
近 叶 片 与 主 葵 进行 分 割 。 当 叶片 数量 较 少 、 叶 片 ” 使 用 两 次 K-Means 聚 类 算法 。 第 二 步 中 需要 使 用 
与 主 葵 的 密度 特征 明显 时 ， 使 用 一 次 K-Means 聚 ”两 次 K-Means 聚 类 算法 的 分 割 结 果 如 网 12 (e) 与 
类 算法 即 可 完成 分 制 ， 开 值 设 置 为 生长 点 附近 叶片 图 12 (f 所 示 。 


i 4 
~ ™ ~ $% 


we ; | 


$ % % F / \ | 


(a) 近 邻 搜索 半径 为 最 (b) 近 邻 搜索 半径 小 于 〈c) 近 邻 搜索 半径 大 于 (d) 仅 使 用 一 次 (e) 使 用 两 次 K-  (f) 使 用 两 次 K-Means 聚 


优 值 时 分 割 结果 最 优 值 时 分 割 结果 ”最 优 值 时 分 割 结 果 。”K-Means 聚 类 算 Means#žJ >, 类 算法 ,第 二 次 分 割 结果 
法 分 割 结果 ”第 一 次 分 割 结果 


图 12 马 铃 葛 植 株 点 云 器 官 分 割 的 结果 


Fig. 12 Organ segmentation results of potato plant point cloud 


3.4 植株 RGB 图 像 与 激光 点 云 间 的 对 应 av. 16 G 内 存 和 NVIDIA GeForce RTX 2060 显卡 的 
Windows 工 作 站 ， 并 以 Pycharm 作为 开发 环境 ， 使 
用 Python 3.7 语 言 实现 了 编号 标签 点 云 投影 获取 的 
算法 。 在 Pytorch1.7.1 和 CUDA 版 本 11.1 的 软件 环 
境 下 ， 应 用 AlexNet 网 络 成 功 地 实现 了 对 编号 的 识 
别 ， 结 果 如 图 13 (b) 413 (c) 所 示 。 


本 研究 利用 每 倪 马 铃 莫 植株 合体 上 的 编号 ， 通 

过 自动 传输 装置 按 编号 从 小 到 大 采集 图 像 ， 成 功 地 
实现 了 RGB 图 像 与 马 铃 莫 植株 编号 的 一 一 对 应 ， 
13 se 为 了 从 马 铃 草 点 云 中 提取 相应 
台 配 备 Intel Core i7-10750H 人 处理 


P002-2.png P009-2.png P015-2.png P022-2.png P028-2.png P043-1.png P043-2.png 
(a) 部 分 带 有 编号 的 RGB 图 像 


[os 品名 品名 


E -on 


(b) 原 编号 标签 点 云 投影 图 
图 13 马 铃 墓 植株 RGB 图 像 与 激光 点 云 间 对 应 关系 建立 的 结 


Fig. 13 Results of establishing correspondence between potato plant RGB image and laser point cloud 
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3.5 精度 评估 结果 


为 了 进一步 验证 本 研究 所 使 用 的 方法 具有 实用 
价值 ， 需 要 对 提取 的 参数 进行 精度 评估 。 然 而 ， 人 
工 测 量 植株 体积 会 导致 植株 受 损 ， 而 叶片 相关 参 
数 、 周 长 和 面积 的 人 工 测 量 方法 索 珊 ， 且 受到 主观 
因素 的 影响 。 此 外 ， 图 像 的 纹理 特征 和 投影 面积 还 
没有 可 靠 的 人 工 测量 方法 。 因 此 ， 本 人 研究 选取 最 大 
宽度 、 株 高 和 叶片 数 三 个 代表 性 表 型 参数 进行 精度 
评 佑 。 其 中 ， 最 大 宽度 的 精度 评估 结果 证 明 了 RGB 
图 像 可 以 精准 地 提取 表 型 参数 ; 株 高 的 精度 评估 结 
果 证 明了 使 用 激光 点 云 从 马 铃 草 中 提取 表 型 参数 的 
方法 的 可 行 性 ; 对 叶片 数 进行 的 精度 评估 则 说 明了 
叶片 分 割 流程 的 可 靠 性 。 这 三 种 表 型 参数 的 精度 评 
佑 结果 证 明了 参数 提取 方案 的 可 行 性 ， 进 而 间接 证 
明了 相关 参数 的 精确 性 。 叶 片 数 、 株 高 与 最 大 宽度 
的 算法 测量 值 与 人 工 测 量 值 如 表 2 所 示 。 

表 2 马铃薯 计算 叶片 数 、 株 高 .最 大 宽度 与 人 工 测 量 值 的 
比较 


Table 2 Results comparison of leaf number, plant height, and 


maximum width of potatoes with artificial measurements 


叶片 数 / 片 株 高 /m 最 大 宽度 /m 


编号 算法 测 人 工 计 算法 测 人 工 测 算法 测 人 工 测 


量 值 数值 量 值 量 值 EA Efi 
5-12-P104-2 4 7 0.2681 0.3000 0.1390 0.1387 
5-12-P104-2(2) 5 6 0.2369 0.2830 0.1880 0.1803 
5-12-P 104-3 8 9 0.3281 0.3180 0.1740 0.1986 
5-12-P279-3 16 16 0.2645 0.3060 0.2370 0.2761 
5-12-P281-1 10 10 0.2446 0.2530 0.1630 0.1671 
5-12-P281-2 10 12 0.2708 0.3010 0.2490 0.2455 
5-12-P281-3 13 13 0.3076 0.3190 0.2490 0.2436 
5-12-P294-3 12 12 0.2814 0.2860 0.2190 0.2430 
5-12-P297-1 8 8 0.2744 0.2570 0.2420 0.2744 
5-12-P002-2 10 11 0.1871 0.2140 0.2340 0.2342 
5-12-P009-2 8 8 0.2661 0.2890 0.1430 0.1504 
5-12-P015-2 12 12 0.2763 0.3140 0.1420 0.1465 
5-12-P022-2 14 12 0.3677 0.3620 0.1790 0.1867 
5-12-P028-2 8 9 0.2026 0.2480 0.2290 0.2135 
5-12-P043-1 10 12 0.3409 0.3650 0.2510 0.2118 
5-12-P043-2 11 11 0.3634 0.3740 0.2160 0.2176 
5-12-P046-3 16 16 0.3569 0.4060 0.2400 0.2759 
5-12-P054-1 8 11 0.3696 0.4230 0.1690 0.1876 


BER 2 
叶片 数 / 片 株 高 /m 最 大 宽度 /m 
编号 算法 测 人 工 计 算法 测 人 工 测 算法 测 人 工 测 
量 值 数值 EE E 量 值 EA 


5-12-P060-3 8 10 0.3160 0.3240 0.2440 0.2661 
5-12-P065-2 8 10 0.2091 0.2290 0.2080 0.2026 
5-12-P076-2 6 6 0.1467 0.1390 0.1980 0.1994 
5-12-P099-1 8 12 0.2771 0.2920 0.2150 0.2289 
5-12-P120-1 11 11 0.3817 0.4080 0.2040 0.2148 
5-12-P124-3 9 9 0.2435 0.2630 0.1890 0.2076 
5-12-P129-2 17 18 0.4009 0.4270 0.1990 0.1934 
5-19-P279-3 6 9 0.2922 0.3390 0.1560 0.1575 
5-19-P281-1 11 12 0.3149 0.3400 0.1880 0.1881 
5-19-P281-2 10 13 0.3459 0.3730 0.1920 0.1934 
5-19-P281-3 14 14 0.3156 0.3530 0.2370 0.2338 
5-19-P294-3 14 14 0.3021 0.3020 0.1510 0.1423 
5-19-P297-1 10 11 0.2689 0.2670 0.2370 0.2651 
5-19-P002-2 11 12 0.2299 0.2530 0.2350 0.2366 
5-19-P009-2 7: 8 0.2744 0.3130 0.2210 0.2525 
5-19-P015-2 14 14 0.3409 0.3750 0.2480 0.2571 
5-19-P022-2 14 15 0.4000 0.3940 0.2380 0.2305 
5-19-P028-3 10 11 0.2724 0.2840 0.1430 0.1436 
5-19-P043-1 10 10 0.3582 0.3790 0.1480 0.1758 
5-19-P043-2 14 14 0.4056 0.4110 0.2330 0.2305 
5-19-P046-3 19 18 0.3546 0.4160 0.1810 0.1904 
5-19-P054-1 14 14 0.3888 0.4330 0.2280 0.2298 
5-19-P060-3 12 12 0.3070 0.3250 0.2580 0.2486 
5-19-P065-2 6 6 0.1950 0.2660 0.2170 0.2502 
5-19-P076-2 8 6 0.1761 0.2110 0.2220 0.2287 
5-19-P099-1 11 12 0.3049 0.3080 0.1690 0.1691 
5-19-P104-2 8 9 0.2943 0.3050 0.2460 0.2955 
5-19-P104-2(2) 8 8 0.2282 0.3110 0.2030 0.2148 
5-19-P104-3 14 14 0.3236 0.3370 0.2130 0.2411 
5-19-P120-1 11 13 0.3883 0.4110 0.2010 0.2236 
5-19-P124-3 12 12 0.2425 0.2670 0.2090 0.2281 
5-19-P129-2 16 16 0.3985 0.4460 0.1640 0.1799 


精度 评估 的 结果 如 图 14 所 示 。 叶 片 数 、 株 高 
和 最 大 宽度 的 MAPE 分 别 为 8.6%、8.3% 和 6.0%, 
RMSE 分 别 为 1.371 片 、3.2 cm 和 1.86 cm， 慷 分 别 
为 0.93、0.95 和 0.91。 这 表明 ， 本 方法 成 功 地 提取 
了 马铃薯 的 多 源 表 型 参数 ， 且 精度 较 高 Wat 
RGB 图 像 和 激光 点 云 技术 的 优势 得 到 了 充分 的 发 
JE, A MAPE, RMSE 和 RR 三 个 指标 的 评价 结 
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果 ， 可 以 充分 验证 本 研究 提出 的 方法 在 提取 马铃薯 ZS AY PT HE EEE 
DF  MAE=8.6% aon od 0.5 上 MAE=83% F 
15 | RMSE=1.371 4 gt g 04F RMSE=32em “7 
x R= 0.93 x | a 03 | i mo à at 
5 10 = 10 | e "I: 。 
gS = a 一 点 云 计数 一 人 工 计数 = 0 
0 ra 5 0 加 1s 7 “20 i 1 6 1 ié 21 26 3i l 36 41 46 ° o E ol | “02 | 03 04 E 0.5 
人 工 计 数 / 片 植株 序号 人 工 测量 值 /cm 
(a) 叶 片 数 的 精度 评定 结果 (b) 点 云 计 数 与 人 工 计 数 对 比 (c) 点 云 计 数 与 人 工 计 数 对 比 
i: 03 5 MAE=6.0% 。 0.3 
oa | i | RMSE =1.86 cm ax g 
y 03h ao, — ‘ ae i & o2 
> | f bal | em = 
Z 02 if 01 | K ol 
= y : rer lig 测量 值 ,| | | . l O SARER ATAG ae 
> 1 6 1l 16 21 26 31 36 41 46 0 0.1 0.2 0.3 1 6 11 16 21 26 31 36 41 46 
oC) 植株 序号 人 工 测量 值 /cm 植株 序号 
fee) (d) 点 云 测量 值 与 人 工 测量 值 对 比 (e) 最 大 宽度 的 精度 评定 结果 (点 云 测 量 值 与 人 工 测量 值 对 比 
oO 图 14 叶片 数 . 株 高 与 最 大 宽度 的 精度 评定 结果 
© Fig. 14 Precision evaluation results of Leaf Number, Plant Height and Maximum Width 
LO 
> 4 ”结论 与 展望 0.93、0.95 和 0.91， 证 明了 本 研究 所 使 用 的 方法 的 
可 行 性 和 准确 性 。 
= 为 了 探索 二 维 光学 成 像 技术 和 三 维 激光 扫描 技 i ~ , ee 
Q n 同时 ， 本 研究 也 存在 部 分 不 足 : 提出 的 方法 仅 
W ey A E2 JH XE a +J e JL (= He 
MELE ATSC. ACL EME. BOURSES sek Tee EERE, EAN 
2 行 性 ， 本 研究 使 用 RGB 相机 和 激光 扫描 仪 两 种 设 。 a sey see AZART. EUREKIN 
AY. Hull te iy OL, 2A k ra HER% Eee AN \ 二 
= a RGB DRIER SCE + BKE, TRIGA MIRE, TDR AEBS 
SEFI MA = Hk EGS 天 类 得 — g 
CRIA ERGR PAT SEHOEN RTE. tHe, AEREN ROB RUG AL ZB 
— | —- LL A 人 F! 参 光 pas nn y sy, 
T E ay 实现 全 生育 期 表 型 参数 的 动态 变化 展示 和 深度 数据 
o 首先 ， 在 数据 采集 万 面 ， 采 用 华中 农业 大 学 作 。 挖掘 。 同 时 ， 基 于 多 源 数据 的 表 型 参数 提取 可 以 扒 


物 表 型 平台 的 自动 化 传送 装置 ， 对 马 铃 莫 进 行 了 高 
效 的 RGB 图像 采 集 ， 并 通过 实验 确定 了 激光 扫描 
仪 的 参数 和 站 点 设置 ， 使 得 采集 到 的 马铃薯 点 云 数 
据 完 整 且 携带 丰富 的 信息 。 

然后 ， 采 用 了 利用 编号 方法 来 建立 植物 表 型 参 
数 与 植株 的 对 应 关系 ， 并 在 此 基础 上 从 RGB 图像 
与 激光 点 云 两 个 方面 提取 马铃薯 的 共计 18 个 表 型 
人 参数， 将 马铃薯 植株 的 RGB 图 像 与 点 云 数 据 结合 
起 来 ， 充 分 发 挥 了 RGB 图 像 与 三 维 点 云 的 优势 ， 
丰富 了 表 型 参数 的 类 型 。 

最 后 ， 选 择 了 比较 具有 代表 性 、 吻 测量 的 叶片 
数 、 株 高 、 最 大 宽度 三 个 表 型 参数 进行 精度 评估 , 
MAPE 分别 为 8.6%、8.3% 和 6.0%，RMSE 分 别 为 
1.371 片 、3.2 cm 和 1.86 cm, BE KBR A HH 


广 到 其 他 作物 ， 如 玉米 、 小 麦 、 水 稻 等 ， 并 且 采 用 
更 多 设备 ， 如 热 红外 相机 、 叶 绿 素 获 光 仪 、 多 光谱 
成 像 仪 和 高 光谱 成 像 仪 ， 为 作物 表 型 参数 的 获取 提 
供 新 的 思路 。 


利益 冲突 声明 : 本 研究 不 存在 研究 者 以 及 与 公开 
研究 成 果 有 关 的 利益 冲突 。 
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Extraction of Potato Plant Phenotypic Parameters Based on 
Multi-Source Data 


HU Songtao', ZHAI Ruifang’, WANG Yinghua’, LIU Zhi', ZHU Jianzhong', REN He’, 
YANG Wanneng™, SONG Peng” 
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Abstract: Crops have diverse structures and complex growth environments. RGB image data can reflect the texture and color features 
of plants accurately, while 3D data contains information about crop volume. The combination of RGB image and 3D point cloud data 
can achieve the extraction of two-dimensional and three-dimensional phenotypic parameters of crops, which is of great significance 
for the research of phenomics methods. In this study, potatoe plants were chosen as the research subject, and RGB cameras and laser 
scanners were used to collect 50 potato RGB images and 3D laser point cloud data. The segmentation accuracy of four deep learning 
semantic segmentation methods, OCRNet, UpNet, PaNet, and DeepLab v3+, were compared and analyzed for the RGB images. 
OCRNet, which demonstrated higher accuracy, was used to perform semantic segmentation on top-view RGB images of potatoes. 
Mean shift clustering algorithm was optimized for laser point cloud data processing, and single-plant segmentation of laser point cloud 
data was completed. Stem and leaf segmentation of single-plant potato point cloud data were accurately performed using Euclidean 
clustering and K-Means clustering algorithms. In addition, a strategy was proposed to establish a one-to-one correspondence between 
RGB images and point clouds of single-plant potatoes using pot numbering. 8 2D phenotypic parameters and 10 3D phenotypic param- 
eters, including maximum width, perimeter, area, plant height, volume, leaf length, and leaf width, etc., were extracted from RGB im- 
ages and laser point clouds, respectively. Finally, the accuracy of three representative and easily measurable phenotypic parameters, 
leaf number, plant height, and maximum width were evaluated. The mean absolute percentage errors (MAPE) were 8.6%, 8.3% and 
6.0%, respectively, while the root mean square errors (RMSE) were 1.371 pieces, 3.2 cm and 1.86 cm, respectively, and the determina- 
tion coefficients (R°) were 0.93, 0.95 and 0.91, respectively. The research results indicated that the extracted phenotype parameters can 
accurately and efficiently reflect the growth status of potatoes. Combining the RGB image data of potatoes with three-dimensional la- 
ser point cloud data can fully exploit the advantages of the rich texture and color characteristics of RGB images and the volumetric in- 
formation provided by three-dimensional point clouds, achieving non-destructive, efficient, and high-precision extraction of two-di- 
mensional and three-dimensional phenotype parameters of potato plants. The achievements of this study could not only provide impor- 
tant technical support for the cultivation and breeding of potatoes but also provide strong support for phenotype-based research. 


Key words: LiDAR; multi-source data; Clustering segmentation; 3D phenotyping; OCRNet; LiDAR points cloud; deep learning 
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